Ý tưởng tổ chức một Đại hội Thể thao liên Mỹ lần đầu được đề xuất tại Thế vận hội Mùa hè 1932 tại Los Angeles, khi đó các đại biểu của Mỹ Latinh trong Ủy ban Olympic Quốc tế (IOC) đề nghị cần lập một đại hội tranh tài giữa toàn bộ các quốc gia châu Mỹ.[3] Sự kiện đầu tiên được gọi là Đại hội Thể thao liên Mỹ diễn ra tại Dallas vào năm 1937, song thu hút rất ít chú ý nên chưa bao giờ được tính thuộc khuôn khổ Đại hội.[4][5]

Hội nghị Thể thao liên Mỹ đầu tiên được tổ chức tại Buenos Aires vào năm 1940, các đại biểu quyết định rằng đại hội đầu tiên được tổ chức tại Buenos Aires vào năm 1942. Các kế hoạch bị hoãn do Chiến tranh thế giới thứ hai. Một Hội nghị Thể thao liên Mỹ lần thứ nhì được tổ chức tại Luân Đôn trong Thế vận hội Mùa hè 1948, hội nghị tái xác định Buenos Aires là thành phố được lựa chọn để đăng cai đại hội lần thứ nhất tổ chức vào năm 1951. Đại hội được đề xuất có 18 môn thể thao.[3] Các quốc gia là thành viên của Thịnh vượng chung các Quốc gia như Canada không tham gia Đại hội Thể thao liên Mỹ lần thứ I.[6] Đại hội Thể thao liên Mỹ lần thứ II được tổ chức tại thành phố Mexico, Mexico vào năm 1955, có 2.583 vận động viên đến từ 22 quốc gia tranh tài trong 17 môn thể thao.[7] Đại hội Thể thao liên Mỹ sau đó được tổ chức mỗi bốn năm tại các thành phố Chicago vào năm 1959, São Paulo vào năm 1963 và Winnipeg vào năm 1967.[7]

Đại hội Thể thao liên Mỹ lần thứ I có 2.513 vận động viên tham dự đại diện cho 14 quốc gia, đến Đại hội Thể thao liên Mỹ 2007 số vận động viên tăng lên 5.633 với 42 quốc gia.[3] Trong thời gian đại hội, hầu hết các vận động viên và quan chức ở tại làng Đại hội Thể thao liên Mỹ. Làng được dự định là một khu nhà khép kín dành cho toàn bộ những người tham gia đại hội. Trong làng có quán ăn, phòng khám y tế, và các địa điểm để biểu đạt tôn giáo.[8]

PASO cho phép các quốc gia tham dự mà không phải đáp ứng các yêu cầu nghiêm ngặt về chủ quyền chính trị. Do đó, các thuộc địa và lãnh thổ phụ thuộc được phép thành lập các ủy ban Olympic quốc gia của mình. Chẳng hạn Puerto Rico và Bermuda tham dự với tư cách riêng mặc dù về phương diện pháp lý họ nằm dưới quyền tài phán của thế lực khác.[9]